Este trabalho teve o objetivo principal de comparar dois sistemas de atribuição de pontos às respostas de sujeitos no Teste Informatizado de Percepção de Emoções: concordância com o consenso e concordância com critérios definidos por especialistas, com base na teoria relacionada à inteligência emocional e na teoria de resposta ao item. Participaram do estudo 55 sujeitos de ambos os sexos, de 18 a 74 anos, cujos protocolos foram avaliados pelos dois métodos de pontuação. Embora a correlação entre os dois métodos de pontuação tenha sido elevada, a atribuição de pontos por concordância com especialistas resultou em correlações item-total significativamente mais elevadas que as pontuações por concordância com o consenso. Os resultados sugerem que o desenvolvimento de instrumentos para avaliação de habilidades relacionadas à inteligência emocional deve priorizar o critério da concordância com especialistas, e mostra como a teoria de resposta ao item pode ser útil no processo de investigação e escolha desses critérios.

The main aim of this study was to compare two rating systems relating to the responses of individuals in the Computerized Emotional Perception Test using Photographs: consensus agreement and agreement with criteria defined by experts based on emotional intelligence theory and Item Response Theory. Participants comprised 55 subjects of both sexes, aged between 18 and 74, whose protocols were rated by both rating methods. Although a high correlation between the two rating methods was observed, the expert agreement criteria yielded significantly higher item-total correlations than consensus agreement. The results suggest that the development of evaluation tools for emotional intelligence related skills should be based primarily on expert agreement criteria, and shows how the Item Response Theory should be helpful in this process of investigation and selection of criteria.